我们说明了一种可以利用用于构建先验遵守身体定律的神经网络的方法。我们从简单的单层神经网络(NN)开始,但避免选择激活功能。在某些条件和无限宽度极限下,我们可以应用中央限制定理,NN输出变为高斯。然后,我们可以通过依靠高斯过程(GP)理论来调查和操纵极限网络。据观察,作用于GP的线性操作员再次产生GP。对于定义微分方程并描述物理定律的差分运算符也是如此。如果我们要求GP或等效地遵守物理定律,那么这将产生与GP的协方差函数或内核的方程式,其解决方案等效地限制了模型以遵守物理定律。然后,中央限制定理建议可以通过选择激活函数来构建NNS来遵守物理定律,从而使它们在无限宽度极限中匹配特定的内核。以这种方式构建的激活函数可以保证NN先验遵守物理学,直到非限制网络宽度的近似误差。讨论了均匀的1D-螺旋方程的简单示例,并将其与天真的内核和激活进行了比较。
translated by 谷歌翻译